MixSD: Mixed Contextual Self-Distillation for Knowledge Injection
MixSD：混合上下文自蒸馏用于知识注入
🧭 知识注入 · 混合自蒸馏 · 分布对齐 ★ 深度解读
Carnegie Mellon University · University of Toronto · University of Illinois Urbana-Champaign · Princeton University · Cornell University
提出MIXSD，通过混合基础模型自身专家与朴素条件采样构建分布对齐监督，大幅减轻知识注入时的灾难性遗忘。
📌 工作参考价值（4 点）
- 用模型自身的语境采样作为监督信号：在注入新知识时，不直接使用人工书写的目标文本，而是用基础模型在“看到事实”与“未看到事实”两种条件分布下采样的token混合生成训练目标，使监督更贴近模型原有分布，减少分布偏移带来的遗忘。
- 通过混合率 λ 灵活控制注入与保留的平衡：λ=0.3–0.5 通常可保持注入准确率的同时大幅提升通用能力保留；在电商/Agent 场景下，可将该超参数作为调节“领域知识吸收 vs 通用能力保持”的杠杆，无需复杂正则化。
- 替代昂贵的 on‑policy 自蒸馏：MIXSD 仅需一次离线生成混合 rollouts，训练成本与 SFT 相近，却显著优于 OPSD 等 on‑policy 方法，适合工业级知识注入流程。
- 用 Fisher 对齐比率诊断遗忘风险：发现参数更新方向（而非幅度）与遗忘强相关，可在微调过程中监控该指标，提前预警能力退化；对于 Agent 多步推理能力保持尤其重要。